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Дослідження інформаційних процесів 
для ефективного відтворення 
дактильної жестової мови 


У статті розглядається підхід до показу дактилем української дактильної жестової мови за допомогою 
просторової моделі. Розглядаються математична модель скелета руки людини, алгоритми анімації 
руки за допомогою скелетної моделі, алгоритми переходу між дактилемами у процесі показу слова, 
алгоритми підготовки поверхні руки (скінінгу), алгоритм розпаралелення обчислень у підзадачі 
підготовки кадрів для анімації показу. 


Вступ 1 постановка задачі 


Зі створенням незалежної української держави та визнанням на державному 
рівні жестової мови як засобу міжособистісного спілкування, так і засобу навчання 
нечуючих осіб виникла нагальна потреба у вивченні національної жестової мови та 
створенні сучасних словників і засобів навчання цій мові. 

Як і властиво мові, жестова мова має діалекти. На відміну від усного мовлення, 
яке використовується на телеканалах, радіо, а через буквений запис - у газетах та кни- 
гах, жестова мова не має писемного еквівалента, рідко використовується на телебаченні. 
Як результат, жестова мова має діалектичні відмінності навіть у межах області. Наяв- 
ність певного «еталона» жестових одиниць (дактилем) у запису дозволить полегшити 
проблему діалектів. 

Наразі жестову мову можна вивчати за допомогою вчителя, книги або відеозапису. 
Але кожен вчитель має «свою» дактильну жестову мову, його аудиторія навчання 
обмежена, вчитель як «медіаносій» не копіюється, не можна повторити/побачити жест 
поза навчанням. Стосовно навчання за допомогою книги | 1 |: двовимірне зображення не 
передає динаміки та деталей жестових одиниць, книга не є інтерактивним медіаносієм. 
Навіть більш сучасний спосіб подання жесту за допомогою відеозображення |2| - це: 
великий об'єм даних, жест не можна розглянути з різних сторін, із окремих записаних 
жестів не можна скомпонувати речення, яке б виглядало природно, відео не є інтер- 
активним медіаносієм. 

Сучасний розвиток комп'ютерної техніки спонукає запропонувати більш ефектив- 
ний підхід (медіазасіб зображення) до навчання жестовій мові, зокрема дактильній жесто- 
кій мові, що розглядається у даній роботі. Використання комп'ютерної технології сприя- 
тиме спорідненню діалектів, легкість копіювання програм та можливість використати 
мережу Інтернет |3| для віддаленого показу дактилем на комп'ютерах різної потужності 
сприятимуть поширенню знань і навичок володіння дактильною жестовою мовою. 

Постановка задачі. Запропонувати алгоритм та реалізацію оптимального за 
часом розрахунку стану просторової моделі за умови її високої розмірності, наяв- 
ності скелета, близького до скелета руки людини, та звичайних мультимедійних вимог 
до апаратної частини комп'ютера, розглянути алгоритми розрахунку поверхні моделі 
з метою виявлення найефективнішого, запропонувати метод показу дактильованого 
слова на основі окремих дактилем, для обчислень використати усі ядра процесора. 
Під оптимальним за часом розрахунком мається на увазі час, що відповідає частоті 
зміни кадрів 30 за секунду і більше. 
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Математична модель 


Для вирішення задачі використаємо скелетну модель руки. Скелет руки мате- 
матично зобразимо у вигляді дерева (У, Е), де У - множина вершин, Е - множина 


з'єднань. Кожна вершина відповідає деякому зчленуванню кісток (ланок скелета). Кожен 
елемент (е;,е,) є Е:е;,е; Є / відповідає за зв'язок між ланками, при цьому ланку е; 
називатимемо старшою по відношенню до ланки е;, а ланку е; - дочірньою по відно- 
шенню до е;. Кожна ланка може мати не Рош однієї старшої і довільну кількість до- 


За Ре) будемо позначати старшу по відношенню до е ланку, якщо така існує, 
10 - віншому випадку. 

Для кожної ланки е є У поставимо у відповідність впорядковану двійку Не) - (х, 0), 
де х є К? - положення зчленувань ланки зі старшою у системі координат, пов'язаній з 
Р(е). Параметр 9 задає порядок застосування кутів повороту для перетворення системи 
координат, що пов'язана з ланкою, Н(/) задає початкове положення руки для матема- 
тичної моделі (М, Е). 

Для кожної ланки е є У поставимо у відповідність вектор т(е) є К?, що скла- 
дається з кутів повороту навколо осей ОХ, ОУ, О/. Таким чином, сукупність г(М) 


задає положення руки, дану сукупність також називатимемо параметрами моделі. За 
наявності відношення порядку між елементами множини вершин (Й), наприклад, за 
індексом, "(/У) можна єдиним чином представити у вигляді матриці розмірності 


Зх 


матрицею параметрів моделі. 

Основною операцією у даній математичній моделі є отримання, на основі па- 
раметрів моделі, положень точок з'єднань ланок і матриць переходу систем коор- 
динат відносно системи координат, що відповідає основній ланці. 

Матриці переходу систем координат визначаються формулами: 


М(Р(е)) 7(9, 19), М/Ф) Я Р(е)» з 
І, Р(е)- 


де і-й стовпець є вектором г(е;),е; «е,|. Дану матрицю називатимемо 


М(е) - 


де М? - матриця повороту системи координат навколо осі ОХ на кут, що записаний у 
першому рядку вектора т(е), М? - матриця повороту системи координат навколо осі 
ОУ на кут, що записаний у другому рядку вектора (є), М/? - матриця повороту 
системи координат навколо осі О/ на кут, що записаний у третьому рядку вектора "(е), 
І - одинична матриця розмірності 3х3, /(9, М, М., М.) - добуток матриць М,, М., М. 
у порядку, визначеному 0. 
Положення ланки у глобальній системі координат визначається за формулою: 
ре) - х(е) М(е), 
де р'(е) - положення ланки у глобальній системі координат для стану системи М. 


На основі даної математичної моделі побудуємо інформаційну модель руки, що 
складатиметься з математичної моделі, матриці точок у просторі для моделі у початково- 
му положенні, текстури поверхні руки, матриці текстурних координат, матриці нормалей. 

Отримання візуального зображення руки у заданому положенні у певний момент 
часу відбувається за допомогою процедури скінінгу (розрахунку точок поверхні шкіри) 
на основі положень ланок у глобальній системі координат. Кожна точка має відповідно 
одну або більше ланок, що впливають на розташування точки з певним коефіцієнтом. 
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Сума коефіцієнтів залежності для кожної точки складає 1. Цей підхід дозволяє уникнути 
візуально неприродних частин у місцях, близьких до зчленувань ланок, наприклад, у 
фалангах пальців. Без використання подібного згладжування за допомогою коефіцієнтів 
у практичному застосуванні можливо спостерігати «розриви» видимої моделі, вид 
зсередини на частини ланок, що оперуються скелетною моделлю. 

Для отримання матриць параметрів моделі було використано технологію Мойоп 
Сарішге (захоплення руху). Дана технологія передбачає використання оцифрованих даних 
про рух, що записано з людини-носія жестової мови. Для цього існує спеціальна рука- 
виця, що має яскраві зони в областях, близьких до з'єднань кісток. На кілька відеокамер 
записується «промовляння» усієї абетки дактильною жестовою мовою. За допомогою 
спеціального програмного забезпечення, Мойоп Виїідег, отримується динаміка зміни 
положень у просторі виділених зон, а на основі цих даних - інформація про зміну кутів. 

Таким чином, за рахунок використання даних такої природи немає необхідності у 
введенні обмежень на множину допустимих кутів у математичній моделі. Дані, отри- 
мані за допомогою технології Мойоп Сарішге, більш реалістично відтворюють оригіналь- 
ну динаміку «промовляння» дактилеми, ніж дані, отримані за допомогою дизайнерсь- 
кого програмного забезпечення. 


Алгоритми розрахунку точок поверхні руки (скінінг) 


Поверхня моделі руки є множина точок, положення яких залежне від положень 
ланок. Кожній точці зіставлено множину ((е,, ,)), де е, - ланка, що впливає на точку, 
ш; є | 0,1) - коефіцієнт залежності, 5); - 1. Відповідно положення точки у просторі ви- 
значається формулою 5, р'(е;) - шо, . Алгоритм розрахунку даної формули для усіх точок ін- 
формаційної моделі та підготовка відповідних структур даних називаються скінінгом |4). 

Для ефективної візуалізації моделі на практиці було запропоновано декілька 
алгоритмів скінінгу з метою подальшої апробації. Усі алгоритми використовують масив 
вхідних даних точок у початковому положенні, записують результат у масив точок для 
результуючого положення. Типово, що масив результату ініціалізується точками з ко- 
ординатами (0, 0,0), у процесі роботи алгоритму до відповідних елементів додаються 
складові частини; таким чином, лише наприкінці роботи алгоритму результуючий масив 
містить правильні положення точок. 

Послідовний алгоритм скінінгу використовує подання залежностей у вигляді списків 
(ланка; масив коефіцієнтів залежностей, кожен елемент якого відповідає елементу з маси- 
ву координат точок у початковому положенні). Він описується наступним псевдокодом: 
для кожної ланки 1: 
для кожної вершини ): 

отримати координату вершини ) у початковому положенні, 
домножити на матрицю переходу у систему координат, 
що пов'язана ланкою 1, 
домножити на коефіцієнт залежності, 
додати координату до елементу масиву результатів. 

Алгоритм розраховано на те, що локальні частини масивів координат початкового 
положення, коефіцієнтів залежностей, результуючих координат на практиці перебува- 
тимуть у кеш-пам'яті процесора, що дозволить швидку обробку даних з відносно малою 
кількістю операцій обміну даними з оперативною пам'яттю. 

Послідовний алгоритм скінінгу з міні-макс оптимізацією є покращеним варіантом 
алгоритму послідовного алгоритму скінінгу, де на етапі передобробки для кожної ланки 
обчислюються мінімальний та максимальний індекси вершин, на які дана ланка впли- 
ває. Це орієнтовано на те, що залежні точки займають у масиві координат приблизно 
сусідні індекси, що дозволить зменшити кількість операцій над вершинами, коефіцієнт 
залежностей яких є 0). 
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Сегментаційний алгоритм скінінгу є покращеним варіантом алгоритму послідов- 
ного алгоритму, використовує подання у вигляді списків (ланка; список пар (початковий 
індекс, масив коефіцієнтів залежностей)). Подання вибирається таким чином, що довжи- 
на масиву коефіцієнтів залежностей не перевищує задану, наприклад 256. Кожен елемент 
з індексом і з масиву коефіцієнтів залежностей відповідає елементу і - початковий 
індекс. Розрахований на оптимальне використання кеш-пам'яті процесора у практичному 
використанні. Він описується наступним псевдокодом: 
для кожної ланки 1: 

для кожної пари зі списку 
(початковий індекс, масив коефіцієнтів залежностей), 

що відповідає ланці 1: 

для кожного коефіцієнта залежностей з масиву 
з індексом К: 
отримати координату вершини у початковому положенні 
з індексом (К З початковий індекс), 
домножити на матрицю переходу у систему координат, 
що пов'язана ланкою 1, 
домножити на коефіцієнт залежності, 
додати координату до елементу масиву результатів 
з індексом (К 4 початковий індекс) 

Прямий алгоритм використовує подання залежностей у вигляді списків пар (лан- 
ка; масив пар (індекс вершини; коефіцієнт залежності)). Він використовує рекурсивну 
процедуру обходу вершини, що описується наступним псевдокодом. Сам алгоритм поля- 
гає у виконанні процедури обходу старшої вершини. 
процедура Обхід вершини (ланка 1) 

для кожної пари з масиву, що відповідає ланці 1: 

отримати координату вершини 
у початковому положенні за індексом, 
домножити на матрицю переходу у систему координат, 
що пов'язана ланкою і, 
домножити на коефіцієнт залежності, 
додати координату до елементу масиву результатів 
для кожної ланки 5), що є дочірньою до ланки 1: 
виконати обхід вершини 3 

Прямий алгоритм на практиці виконує мінімальну кількість операцій серед наве- 
дених. У випадку, коли сума об'ємів пам'яті, що займають точки моделі, масив координат 
початкових положень, масив координат результуючих положень, додаткові структури 
даних менше, ніж об'єм кеш-пам'яті процесора, даний алгоритм показує найвищу ефек- 
тивність. В іншому випадку рекомендується використовувати сегментаційний алгоритм. 

Дані алгоритми було імплементовано, проведено порівняльні тести на ефективність. 
Під ефективністю алгоритму вважається швидкість розрахунку окремого кадру, час на під- 
готовку структур даних ігнорується. Тестування проводилось на скелетній моделі, що має 
84 460 точок на комп'ютері з процесором Ше! Соге2 Дио ЕЗ200 (2,66 ГГц), 2 Гб оператив- 
ної пам'яті. Розрахунок проводився в один потік. Результати тестування наведено на рис. 1. 


Сегментаці йний 22 
Послідовний з міні-макс 404 
Послідовний 439 
Прямий 13 
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Рисунок І - Результати тестування алгоритмів скінінгу 
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Алгоритм дактилювання слова 
як конкатенація окремих дактилем 


Важливою перевагою даної системи є можливість дактилювати довільні слова, що 
складаються з окремих дактилем («літер»). За наявності інформації про окремі дакти- 
леми важливо мати спосіб їх візуальної конкатенації. З використанням моделі руки як 
основи подання графічної інформації це є алгоритмічно можливим, на відміну від даних 
у відеоформаті. 

Було створено базу даних, що містить послідовності станів моделі для кожної 
літери. Кожна така послідовність починається і закінчується у деякому «нейтральному» 
стані. Для правильної конкатенації потрібним є підхід для визначення граничних станів 
кожної дактилеми, де закінчується інформація, що важлива для передачі змісту дак- 
тилеми, та алгоритм створення проміжних станів для переходу між дактилемами. 

Зважаючи на природу отриманих даних, граничні стани були встановлені експе- 
риментально. Генерування проміжних станів може бути або алгоритмічним (на основі 
станів, що конкатенуються), або наперед визначеним. Алгоритмічний підхід є більш зруч- 
ним, оскільки зменшує кількість необхідної інформації, що потрібно підготувати дизай- 
неру. Для більшості пар дактилем можна алгоритмічно згенерувати проміжні слайди, 
наприклад, лінійною апроксимацією на основі граничних станів у суміжних літерах. 

Є послідовності, наприклад, «Н» - «Г» (1, де потрібно спершу зігнути пальці, а 
потім повертати долоню, для яких не підходить алгоритмічний підхід. Для цього ви- 
падку передбачається використання окремої послідовності станів переходу. 


Розпаралелення обчислень у задачі підготовки кадру 


Більшість сучасних процесорів, що випускаються, оснащено двома або більше 
ядрами. Подальший розвиток орієнтований саме на збільшення кількості ядер, ніж 
на нарощування потужності окремого ядра 51. 

Для підзадачі підготовки кадру в задачі показу тривимірної анімації дактильної 
абетки жестової мови було розглянуто алгоритм розпаралелювання обчислень, оскільки 
за своєю суттю підготовка одного кадру є функцією від моделі руки і параметрів моделі, 
тобто не залежить від результату обчислень інших кадрів і від моменту обчислення. 
Такий підхід має місце, коли обчислення нового кадру є ресурсномісткою задачею, 
наприклад, проведення скінінгу на процесорі. Для цього був розроблений алгоритм, що 
складається з 2 -- п потоків, де п - кількість ядер процесора: основний потік, потік 
анімації, п потоків обчислення кадрів. Використовується факт, що обчислення різних 
кадрів є рівносильною задачею в термінах процесорного часу незалежно від параметрів 
моделі. Тому обчислення ( кадрів можна розбити на п потоків максимально рівномірно 
таким способом: кожен і-й потік обробляє кадри з тим номером, залишок від ділення 
якого на п дорівнює /. 

Основний потік (потік інтерфейсу користувача) ініціює створення п потоків 
обчислень і потоку анімації. Потік анімації показує із заданим проміжком підготовлені 
кадри, звільняє пам'ять після їх показу. Оскільки на момент початку анімації повинна 
бути впевненість, що кожен кадр буде готовим перед його показом, то потік інформації 
запускається призупиненим, а його запуск делегується на один з потоків обчислення 
кадрів, зокрема на потік з індексом 0. Надалі цей потік називатимемо ведучим. 

Кожен потік обчислення кадрів на початку отримує залишок від ділення і починає 
цикл обчислень. Також проводиться оновлення лічильника обчислених кадрів. 

Ведучий потік також фіксує момент часу початку обчислень. Після того, як було 
обчислено 5 кадрів, він апроксимує момент часу закінчення обчислень усіх кадрів. Ос- 
кільки тривалість анімації відома спочатку, то можливо визначити, чи буде підготовка 
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кадрів виконана вчасно для безперебійного показу анімації. Коли апроксимований час 
до кінця закінчення обчислень стає меншим за тривалість анімації, ведучий потік за- 
пускає потік анімації ії припиняє прогнозування закінчення. 

Задача розподілення потоків на кожне ядро виконується операційною системою. 
Але часто бувають ситуації, коли ядра зайняті сторонніми процесами. Це призвело б до 
того, що потоки передобробки отримали різні кванти процесорного часу, а як наслідок, 
кадри обчислювались нерівномірно. 

Наприклад, можливою була б така ситуація (у прикладі використовується двоядер- 
ний процесор): 


Таблиця 1 
Хо кадру 0 1 2 3 4 5 6 7 
Стан з З " - з М я 3 


Де стан «Я» означає, що кадр підготовлено, «-» - не підготовлено. 

Використано підхід вирішення даної проблеми за допомогою семафорів |бЇ, (71: 
кожен потік проасоційовано з одним семафором, який ініціалізовано одиницею. На 
початку обчислення кадру потік зменшує свій семафор, після завершення кадру він 
збільшує семафор наступного потоку на одиницю (останній потік збільшує семафор 
нульового потоку). Таким чином, обчислення кадрів одного потоку не випереджає 
решту більше, ніж на одиницю. 

За своїм призначенням, значення семафора не може змінюватись менше за нуль. 
Це є об'єкт ядра операційної системи, який відповідає за сумісний доступ кількох потоків 
до спільного ресурсу. У цього об'єкта дві операції - збільшити (на одиницю), зменшити. 
Якщо значення семафора - нуль, а потік виконує операцію «зменшити», виконання його 
призупиняється операційною системою. А отже, стає доступним додатковий процесор- 
ний час. Операційна система веде облік усіх потоків, що були призупинені внаслідок 
спроби зменшити семафор. Коли деякий інший робить операцію «збільшити», то Інший 
потік зі списку призупинених продовжує виконання. 

Практично такий підхід означає наступне: кожен потік анімації на початку ро- 
боти алгоритму «може» обчислити І кадр, за що відповідає значення його семафора. 
Після обчислення свого кадру він дозволить обчислення іншому потокові і буде при- 
зупиненим, аж поки його семафор не збільшить потік. Таким чином, ядра процесора 
максимально навантажені, а кадри обчислюються поступово. 


Використання технології передачі даних 
через мережу Інтернет 


Для поширення програмного додатка, який дозволяє дактилювати окремі літери та 
слова, використано узагальнений засіб оптимальної передачі динамічно створеного 
зображення в мережі Інтернет з можливістю керування ним |4|. Оскільки обчислювальні 
можливості комп'ютерів широкого кола користувачів значно різняться, так само як і 
значно різняться можливості їх каналів зв'язку, даний аспект було враховано при про- 
думуванні способу масового обслуговування, для передачі даних через мережу Піетпеї. 
Наявні технології або не мають інтерактивності, або для її досягнення потрібно вико- 
ристовувати спеціальні плагіни, які необхідно інсталювати на комп'ютер клієнта. 

Технологія передачі даних містить трирівневу інформаційну модель комунікації 
між серверною та клієнтськими частинами: на першому (найвищому) логічному рівні 
відеоінформація передається зі серверної сторони на сторону клієнта. На наступному, 
другому, логічному рівні сервер закодовує відеоінформацію фрейм за фреймом, а також 
може передбачати певну ініціалізацію клієнта, клієнт, проводить ініціалізацію, а також 
відтворює картинку на основі команд. На цьому логічному рівні програміст (інженер, 
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розробник) може враховувати специфіку задачі 1 структуру медіаданих, тобто надати 
власну пару компресора-декомпресора даних. На цьому рівні окремий потік відповідає 
за обслуговування іменних каналів та передачу команд компресору. Рекомендований 
рівень компресії виходить з розрахунку, що 10 відсотків часу канал повинен або про- 
стоювати, або резервуватися на непередбачену ситуацію, наприклад, передачу даних ін- 
шим програмним додаткам на стороні клієнта. На наступному, третьому, логічному рівні 
команди серіалізуються на стороні сервера і десеріалізуються на стороні клієнта. Це є ос- 
танній логічний рівень даної технології. Інформація на даному рівні передається ви- 
користанням НТТР (5мегіїєБИ Азр.пег). 


Висновки 


У даній статті вперше для відтворення дактильної української жестової мови 
використано анімацію тривимірної моделі руки, розглянуто алгоритми розрахунку 
поверхні руки за допомогою тривимірної моделі, що базується на скелетній моделі, 
виконано реалізацію цих алгоритмів та практичну апробацію, розглянуто алгоритм 
анімації дактилювання слова на основі даних про окремі дактилеми, удосконалено 
алгоритми підготовки кадру для відтворення процесу скелетної анімації дактильної 
жестової мови за рахунок підтримки багатоядерних процесорів. Дані алгоритми та мето- 
ди є сумісними з технологією відображення інформації інтернет-засобами для відтворен- 
ня процесу анімації дактильної жестової мови, що дозволить створити відповідний 
програмний додаток. 

Подальші дослідження будуть направлені на підвищення якості відображення 
руки, покращення алгоритмів показу з метою підтримки використання програми на 
комп'ютерах з меншою потужністю. 
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Б.А. Троценко 

Исследование информационньтх процессов для зффективного отображения дактильной жестовой речи 
В статье рассматриваєтся подход представления дактилей украинского дактильно-жестового язька с 
помощью пространственной модели, Рассматривается математическая модель скелета руки человека, 
алгоритмь анимации руки с помощью скелетной модели, алгоритмь перехода между дактилемами в 
процессе представления слова, алгоритмьт подготовки поверхности руки (скининг), алгоритм параллельньх 
вьтчислений в подзадачах подготовки кадров для анимации показа. 
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